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(57) Abstract 

The invention relates to an operating and monitoring system in which, in addition to the real information of a process, for example, 
of an automation system, virtual information is supplemented and visualized on a mobile display device. This permits an on-site virtual 
visualization, for example, of filling amounts of a tank, of a line, etc. which are otherwise not accessible. Speech or cues make it possible 
to carry out a multimodal communication with components of the processor. 

(57) Zusammenfassung 

Die Erfindung betrifft ein Bedien- und Beobachtungssystem. bei dem neben realen Informationen eines Prozesses, beispielsweise 
eines Automatisierungssystems virtuelle Informationen erganzt und auf einem mobilen Anzeigegerfit visualisiert werden. Hierdurch kCnnen 
beispielsweise Ftillmengen eines Tanks, eincr Leitung etc. vor Ort virtuell visualisiert werden, die ansonsten nicht zugSnglich sind. Durch 
Sprache oder Fingerzeig ist eine multimodale Kommunikation mit den Komponenten des Prozesses mOglich. 



LEDIGUCH ZUR INFORMATION 



Codes zur Idcntifiziening von PCT-Vertragsstaatcn auf den KopfbOgen der Schriften, die intemationale Anmeldungen gemSss dem 
PCT verbffentlichcn. 



AL 


Albanien 


ES 


Spanien 


LS 


Lesotho 


SI 


Slowenien 


AM 


Armcnien 


FI 


Finnland 


LT 


Litauen 


SK 


Slowakei 


AT 


Ostcrrcich 


PR 


Frenkreich 


LU 


Luxemburg 


SN 


Senegal 


AU 


Australien 


GA 


Gabun 


LV 


Lettland 


sz 


Swasiland 


AZ 


Ascrbaidschan 


GB 


Vercinigtcs KOnigreidi 


MC 


Monaco 


TD 


Tschad 


BA 


Bosnien-Herzegowina 


GE 


Georgien 


MD 


Republik Moldau 


TG 


Togo 


BB 


Barbados 


GH 


Ghana 


MG 


MadagaskoT 


TJ 


Tadschikistan 


BE 


Belgien 


GN 


Guinea 


MK 


Die ehemalige jugoslawische 


TM 


Turkmenistan 


BP 


Burkina Faso 


GR 


Griechenland 




Republik Mazedonien 


TR 


TOikei 


BG 


Bulgarien 


HU 


Ungani 


ML 


Mali 


TT 


Trinidad und Tobago 


BJ 


Benin 


IE 


Irland 


MN 


Mongolei 


UA 


Ukraine 


BR 


Brasilien 




Israel 


MR 


Mauretanien 


UG 


Uganda 


BY 


Belarus 


IS 


Island 


MW 


Malawi 


us 


Vereinigte Staaten von 


CA 


Kanada 


IT 


Italien 


MX 


Mexiko 




Amerika 


CF 


Zentralafnkanische Republik 


JP 


Japan 


NE 


Niger 


uz 


Usbekistan 


CG 


Kongo 


KE 


Kenta 


NL 


Niederiande 


VN 


Vietnam 


CH 


Schweiz 


KG 


Kirgisistan 


NO 


Norwegen 


YU 


Jugoslawien 


a 


Cdte d'lvoire 


KP 


Demokratische Volksiepublik 


NZ 


Neuseeland 


zw 


Zimbabwe 


CM 


Kamerun 




Korea 


PL 


Polen 






CN 


China 


KR 


Republik Korea. 


PT 


Portugal 






cu 


Kuba 


KZ 


Kasachstan 


RO 


Rumftnien 






cz 


Tschcchische Republik 


LC 


St. Lucia 


RU 


Russische Fdderation 






DE 


Deuischland 


LI 


Liechtenstein 


SO 


Sudan 






DK 


Dfinemark 


LK 


Sri Lanka 


SE 


Schweden 






EE 


Estland 


LR 


Liberia 


SG 


Singapur 







wo 00/52536 



1 



PCT/DEOO/00657 



Beschreibung 

Bedien- und Beobachtungssystem mit Augmented Reality- 
Techniken 

Die Erfindung betrifft ein Bedien- und Beobachtungssystem fur 
eine automatisierungstechnisch gesteuerte Anlage und/oder ei- 
nen automatisierungstechnisch gesteuerten Prozess. 

Ein derartiges System und Verfahren kommt beispielsweise im 
Bereich der Automatisierungstechni.k, bei Produktions- und 
Werkzeugmaschinen, bei Diagnose- /Serviceunterstutzungssyste- 
men sowie fur komplexe Komponenten, Gerate und Systeme, wie 
beispielsweise Fahrzeuge und industrielle Maschinen und Anla- 
gen zum Einsatz . 

Der Erfindung liegt die Aufgabe zugrunde, ein Bedien- und Be- 
obachtungssystem anzugeben, das es auch bei komplexen Aufga- 
ben auf einfache Weise einen vielseitigen Einsatz erm5glicht. 

Diese Aufgabe wird durch System bzw. durch ein Verfahren mit 
den in den Anspruchen 1 bzw. 5 angegebenen Merkmalen gelost. 

Der Erfindung liegt die Erkenntnis zugrunde, daS ftir das Be- 
dienen und Beobachten eines Prozesses oder einer Anlage hau- 
fig eine Vielzahl von Anzeigemitteln und- instrumenten erfor- 
derlich ist. Dies erfordert einen relativ hohen Hardwareauf- 
wand. Zudem leidet hSufig die Ubersichtlich beim Bedienen- 
und Beobachten, wenn der Verantwortliche eine Vielzahl von 
Anzeigen beobachten und kontrollieren soli, Mit Hilfe der mo- 
bilen Anzeigemittel , beispielsweise in Form einer Datenbrille 
wird erreicht, daft dem Verantwortlichen jeweils aktuelle In- 
formationsdaten auf ein und derselben Anzeigevorrichtung, 
namlich auf der Datenbrille visualisiert werden. Die Visuali- 
sierung bestimmter Prozessdaten, Signale etc. kann dabei ent- 
weder in Abhangigkeit vorgebbarer Ablaufdaten und/oder ge- 
zielt dadurch erfolgen, daS der Bediener und Beobachter einer 
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Anlage und/oder eines Prozesses einen bestimmten Bereich oder 
Teilbereich der Anlage bzw. des Prozesses betrachtet. Mit 
Hilfe der Augmented-Reality-Techniken werden abhangig von dem 
betrachten Bereich bzw. Teilbereich bestinunte Inf ormationsda- 
ten visualisiert . So kann beispielsweise beim Betrachten ei- 
nes Ventils eine Anzeige „Ventil geschlossen^^ ggf . erganzt 
durch einen Druckwert ausgegeben werden. Die Ausgabe erfolgt 
dabei auf dem Anzeigemittel und kann beispielsweise durch ei- 
ne Sprachausgabe ergSnzt werden. Durch die multif unktionale 
Anzeigevorrichtung in Form der Datenbrille kann eine Vielzahl 
ansonsten erf orderlicher separater Anzeigemittel eingespart 
werden. Auf der Datenbrille konnen beispielsweise auch Full- 
mengen eines Tanks, einer Leitung etc. vor Ort virtuell vi- 
sualisiert werden, die ansonsten nicht zug^nglich sind. Durch 
Sprache oder Fingerzeig ist eine multimodale Kommunikation, 
z.B. durch Sprache und/oder Fingerzeig mit den Komponenten 
des Prozesses m5glich. Mit Hilfe der AR-Techniken (Augmented- 
Reality-Techniken) werden Objekte gesehen und. identif iziert . 
Diese Realitat kann in Abhangigkeit dieser realen Information 
nen dann urn virtuelle Inf ormationen erweitert werden. 



Bei den Informations- und/oder Dokumentationsdaten kann es 
sich beispielsweise urn bei der Errichtung einer Anlage, eines 
automatisierungstechnisch gesteuerten Systems oder Prozesses 
erstellte und gesammelte Daten und/oder auch im Betrieb einer 
Anlage oder eines Automatisierungssystems nach vorgebbaren 
Kriterien gepflegte und jeweils aktualisierte Do- 
kumentationsdaten handeln. Diese Dokumentationsdaten konnen 
auf Speichermittel gespeichert sein, die sowohl lokal, d.h. 
am Ort der jeweiligen Anwendung oder auch an jedem beliebig 
anderen Ort, beispielsweise am Ort der jeweiligen Hersteller- 
firmen der einzelnen Anlagenkomponenten, gespeichert werden. 
Mit Hilfe der Erf assungsmittel werden beispielsweise aus ei- 
nem Bildinhalt die realen Inf ormationen erfaSt und iiber die 
Auswertemittel ausgewertet, so dal5 eine Zuordnung der realen 
Objekte zu in den Dokumentationsdaten gespeicherten Objektda- 
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ten moglich wird. Anhand der realen Inf ormationsdaten, bei- 
spielsweise in Form eines detektierten Objekts werden dann 
insbesondere automatisch die zusatzlichen in dem Dokumenta- 
tionsdaten enthaltenen Objektdaten ausgewahlt und beispiels- 
weise fiir Servicezwecke vor Ort zur Verfiigung gestellt. Hier- 
durch wird ein situationsgerechter schneller Zugang zu den 
jeweils bendtigten Daten ermoglicht. 

Vorteilhafte Ausgestaltungen bestehen darin, daS die Dokumen- 
tationsdaten statische und/oder dynamische Inf ormationsdaten 
sind. Beispiele fur derartige statische Inf ormationen sind 
technische Daten aus Handblichern, Explosionszeichnungen, War- 
tungsanweisungen etc.. Beispiele fur dynamische Inf ormationen 
sind ProzeSwerte wie Tempera tur, Druck, Signale etc. 

Ein schneller situationsgerechter Zugang zu den Dokumentati- 
onsdaten wird dadurch weiter unterstatzt, daS die Erfassungs- 
mittel eine Bildauf nahmevorrichtung aufweisen, daS die Aus- 
wertemittel zur Auswertung der realen Information in der Wei- 
se vorgesehen sind, daS aus der realen Information ein 
Eisatzkontext , insbesondere ein Objekt der Dokumentationsda- 
ten erraittelt wird und daS das System Visual isierungsmittel 
zur Visualisierung der Dokumentationsdaten aufweist. 

Ein schneller situationsgerechter Zugang zu den Dokumentati- 
onsdaten wird dadurch weiter unterstiitzt, daS die Erfassungs- 
mittel anwendergesteuert sind und insbesondere als sprachge- 
steuerte Erf assungsmittel und/oder durch Steuerdaten gesteu- 
erte Erf assungsmittel ausgebildet sind. 

Ein fiir viele Anwendungsf alle optimaler Einsatz von Augmen- 
ted-Reality-Techniken auf Basis der statischen und/oder dyna- 
mischen Dokumentations- und/oder ProzeSdaten kann in der Wei- 
se erfolgen, dafi die Erf assungsmittel und/oder die Visuali- 
sierungsmittel als Datenbrille ausgebildet sind. 
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Im folgenden wird die Erf indung anhand der in den Figuren 
dargestellten Ausf iihrungsbeispiele nSher beschrieben und er- 
lautert . 

Es zeigen: 

FIG 1 ein Blockschaltbild eines ersten Ausfuhrungsbei- 

spiels eines Augmented-Reality-Systems , 

FIG 2 ein weiteres Blockschaltbild eines Ausf iihrungsbei- 

spiels eines Augmented-Reality-Systems und 

FIG 3 ein Anwendungsbeispiel fur einen si tuationsgerech- 

ten Zugriff auf Expertenwissen und/oder Dokumenta- 
tionsdaten. 

Figur 1 zeigt eine Prinzipdarstellung eines Augmented- 
Reality-Sys terns zur Ubertragung von ersten Inf ormationsdaten 
von einem ersten Ort 01 an einen entfernten zweiten Ort 02 
eines Experten fur eine Unterstutzung eines Anwenders am er- 
sten Ort Ol beispielsweise im Service- und/oder Reparaturf all 
durch den entfernten Experten am zweiten Ort. Der Anwender, 
der in Figur 1 nicht explizit dargestellt ist, ist mit mobi- 
len Geraten 4, 6 ausgestattet . Die mobilen Cerate 4, 6 bein- 
halten eine Datenbrille 4, an der eine Videokamera 2 sowie 
ein Mikrofon 11 angeordnet ist. Die Datenbrille ist mit einer 
Einrichtung zur drahtlosen Kommunikation, beispielsweise ei- 
ner Funk-Sende-Empfangsvorrichtung 6 gekoppelt, die uber eine 
Funkschnittstelle 15 mit dem Automatisierungssystem Al,.An 
kommunizieren kann. Das Automatisierungssystem Al..An ist 
iiber eine Datenverbindung 14 mit einem Augmented-Reality- 
System 10 koppelbar, welches im folgenden auch abkurzend als 
AR-System bezeichnet wird. Das AR-System enthalt ein Informa- 
tionsmodul lb zur Speicherung bzw. zum Zugriff von bzw. auf 
Inf ormationsdaten, ein AR-Basismodul 8 sowie ein AR- 
Anwendungsmodul 9. Das AR-System 10 ist uber eine Datenver- 
bindung 13 mit dem Internet 5 verbindbar, wobei iiber eine 
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beispielhaft dargestellte Internetverbindung 12 ein Zugriff 
auf weitere Speicher- und Dokumentationsdaten la moglich ist. 

Der Anwender, der mit der Datenbrille 4 und der mobilen Funk- 
Sende-Einrichtung 7 ausgestattet ist, ist in der Lage, sich 
fur Wartungs- und Servicezwecke in der Anlage Al.,An frei zu 
bewegen. Ist beispielsweise die Wartung oder Reparatur einer 
bestimmten Teilkomponente der Anlagen Al..An erf orderlich, so 
wird mit Hilfe der Kamera 2 der Datenbrille 4 gegebenenf alls 
gesteuert durch Sprachkommandos , die vom Mikrofon 11 erfafit 
werden, ein entsprechender Zugang zu den relevant en Dokumen- 
tationsdaten la, lb hergestellt. Hierzu wird uber die Funk- 
schnittstelle 15 eine Datenverbindung zur Anlage Al.. An oder 
einem entsprechenden Funk-Sende-Modul aufgebaut und die Daten 
an das AR-System 10 iibermittelt. Im AR-System erfolgt eine 
situationsgerechte Auswertung der vom Anwender erhaltenen Da- 
ten und ein automatischer oder auch ein interaktiv vom Anwen- 
der gesteuerter Zugriff auf Inf oramtionsdaten la, lb. Die er- 
mittelten relevanten Dokumentationsdaten la, lb, werden uber 
die Datenverbindungen 14, 15 an die Funk-Sende-Einrichtung 6 
ubermittelt und insgesamt erfolgt auf Basis der erfai^ten Ar- 
beitssituation somit eine Analyse, die Grundlage fiir die Aus- 
wahl von Daten aus der vorliegenden statischen Information 
ist. Hierdurch ergibt sich eine situationsgerechte, objekt- 
orientierte bzw. bauteilorientierte Auswahl relevanten Wis- 
sens aus den aktuellsten Datenquellen la, lb. Die Anzeige der 
Information erfolgt mit Hilfe der jeweils verwendeten Visua- 
lisierungskomponente, beispielsweise einem Handheld-PC oder 
einer Datenbrille. Von AR-basierten Technologien gesprochen 
wird. Der Anwender vor Ort wird somit lediglich mit der In- 
formation versorgt, die er braucht . Diese Information befin- 
det sich jeweils auf dem aktuellsten Stand. Der Servicetech- 
niker wird beispielsweise nicht durch ein "100 Sei ten-Manual " 
mit Inf ormationen iiberf rachtet . 

Figur 2 zeigt ein weiteres Anv/endungsbei spiel eines Systems 
zur Dokumentationsverarbeitung fur Service und Wartung. Das 
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System besteht aus einem Augmented-Reality-System 10, welches 
ein Inf ormationsmodul lb zur Speicherung von Inf ormationsda- 
ten, ein AR-Basissystem 8 sowie ein AR-Anwendungsmodul 9 ent- 
halt. Das AR-System 10 ist liber Bindungsleitungen 13, 18 ans 
5 Internet 5 ankoppelbar. Von dort besteht iiber eine beispiel- 
hafte Datenverbindung 12 eine Verbindungsmoglichkeit zu einem 
entfernten PC 16 mit einem entfernten Experten 22. Die Kopp- 
lung zwischen den einzelnen Modulen des AR-Systems 10 erfolgt 
tiber Verbindungen 19, 2_0, 21. Die Anwenderkommunikation zwi- 

10 schen einem Anwender 7 und dem AR-System erfolgt liber 

Schnittstellen 8, 23. Hierzu ist das AR-System mit einer Sen- 
de-Empf angs-Vorrichtung koppelbar, die eine bidirektionale 
Datenkommunikation zwischen dem AR-System 10 und dem Anwender 
7 liber eine Datenbrille 4 entweder direkt liber die Schnitt- 

15 s telle 8 oder liber ein im Bereich des Anwender s 7 angeordnete 
Funk-Sende-Empf angseinrichtung 17 liber eine Schnittstelle 23 
erm6glicht. Die Verbindung 23 kann liber eine separate Daten- 
verbindung Oder liber das Stromnetz als " Power-Line" -Modem 
realisiert werden. Die Datenbrille 4 enth^lt neben einer im 

2 0 Bereich der Brillenglaser angeordneten Anzeigevorrichtung ei- 

ne Bilderf assungsvorrichtung 2 in Form einer Kamera sowie ein 
Mikrofon 11. Der Anwender 7 kann sich mit Hilfe der Daten- 
brille 4 im Bereich der Anlagen Al..An bewegen und Service- 
oder Wartungsarbeiten durchf lihren . 

25 

Mit Hilfe der Datenbrille 4 und der entsprechenden Funk- 
Sende-Empf angsvorrichtungen, beispielsweise der Funk-Sende- 
Empf angsvorrichtung 17, die vom Personal direkt am K5rper ge- 
tragen wird, ist es moglich vorbeugende Funktionalitat zu er- 
30 reichen: Zunachst erfolgt die Erfassung der jeweiligen Ar- 

beitssituation, beispielsweise durch die Kamera 2 oder durch 
Lokalisierung durch das Personal 7 . Auf Basis der erf ai^ten 
Arbeitsssituation erfolgt im AR-System eine Auswahl von Daten 
gewarteten Anlage Al..An. Der grundlegende Vorteil des in Fi- 

3 5 gur 3 darges tell ten Systems besteht darin, daS dieses System 

das Zusammenwirken der einzelnen Einzelf unktionalitaten an- 
wendungsgerecht unterstlitzt: So wird zunachst eine konkrete 
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Arbeitssituation automatisch erfaSt, diese Arbei tssituation 
anschliefiend analysiert, wobei aus der aktuellsten, vorlie- 
genden statischen Information in Kombination mit den augen- 
blicklich erfafiten dynamischen Daten automatisch die gerade 
relevanten Aspekte ermittelt werden. Hierdurch werden bei- 
spielsweise Montagehinweise mit aktuellen ProzeSdaten korre- 
liert. Das Personal 7 erhait hierdurch eine situationsgerech- 
te Anzeige der relevanten Inf ormationen beispielsweise durch 
eine uberlagerte Visualisierung der entsprechenden Daten in 
der Weise, daS im Sichtfeld des Personals die reale Arbeits- 
situation urn die ermittelten Inf ormationen erweitert wird. 
Hierdurch wird das Personal 7 in kiirzester Zeit handlungsfa- 
hig gemacht und damit notwendige Maschinenlauf zeiten gesi- 
chert. Unterstutzung kann der Wartungstechniker 7 vor Ort 
auch uber den ent fern ten Expert en 22 und das am Ort des ent- 
fernten Experten 22 vorliegende Wissen 16 erhalten. 

Figur 3 zeigt ein Anwendungsbeispiel fur einen situationsge- 
rechten Zugriff auf Dokumentationsdaten . Figur 3 zeigt einen 
ersten Bildschirmbereich Bl, in dem eine Anlagenkomponente 
dargestellt ist. Im rechten Bildschirmbereich B2 ist ein An- 
wender 7 dargestellt, der beispielsweise eine einzelne Anla- 
genkomponente betrachtet. Der Anwender 7 ist mit einer Daten- 
brille 4 augerustet, die eine Kamera 2 als Erf assungsmittel 
enthait. An der Datenbrille 4 ist daruber hinaus ein Mikrofon 
11 sowie ein Lautsprecher 16 angeordnet . Im linken Bild- 
schirmbereicht Bl ist ein Blick auf Rohrleitungen darge- 
stellt, die mit der im Bildfenster B2 dargestellten Daten- 
brille betrachtet werden konnen. Im linken Bildschirmbereich 
Bl sind zwei Punkte Bl, B2 markiert, die jeweils zwei mit 
Hilfe der Datenbrille 4 betrachtete Bildausschnitte reprasen- 
tieren. Nach Betrachtung des ersten Punkts PI, d.h. nach Be- 
trachtung der im Bereich des Punktes PI angeordneten Rohrlei- 
tung werden dem Anwender 7 Zusatzinf ormationen in der Daten- 
brille 4 visualisiert . Diese Zusatzinf ormationen 11 bestehen 
aus Dokumentationsdaten, die bezuglich des ersten Punktes PI 
Arbeitsanweisungen fiir dieses Rohrstdck enthalten und bezug- 



wo 00/52536 



8 



PCT/DEOO/00657 



lich des Punktes P2 die in einem zweiten Schritt durchzufiih- 
rende Installationsanweisung beinhalten. Die Installationsan- 
weisung besteht in diesem Fall darin, daS dem Anwender 7 das 
Drehmoment und die Drehrichtung der Schraubverbindung des 
Punktes P2 Uber die Visualisierung der Zusatzdaten 112 mitge- 
teilt werden. Der Anwender 7 erhait somit innerhalb kurzester 
Zeit eine situationsgerechte Anweisung fur das betrachtete 
Objekt, Bei der Verwendung eines intelligenten Werkzeugs, 
welches in der Lage ist, das gerade eingesetzte Drehmoment zu 
erfassen, ist es weiterhin mdglich, daS der Anwender basie- 
rend auf dem aktuellen Drehmoment auch dazu aufgefordert 
wird, daS Drehmoment entsprechend zu erhohen oder zu verrin- 
gern. 

Im folgenden werden Hintergrundinf ormationen zu Einsatzgebiet 
der Erfindung gegeben: Es geht dabei um eine anwendungsorien- 
tierte Anf orderungsanalyse und Entwicklung von AR-basierten 
Systemen zur Unterstiitzung von Arbeitsprozessen in Entwick- 
lung, Produktion und Service komplexer technischer Produkte 
und Anlagen in der Fertigungs- und Verf ahrenstechnik, sowie 
fur Systems zur Serviceunterstiitzung wie bei Kraft fahrzeugen 
Oder flir die Wartung beliebiger technischer Ger^te, 

Augmented Reality, kurz AR, ist eine neue Art der Mensch- 
Technik-^Interaktion mit groSem Potential zur UnterstUtzung 
von industriellen Arbeitsprozessen. Bei dieser Technologie 
wird das Sichtfeld des Betrachters mit rechnergenerierten 
virtuellen Objekten angereichert , so daS Produkt- bzw. Pro- 
zeSinf ormationen intuitiv genutzt werden konnen. Neben der 
sehr einfachen Interaktion erschlieSt der Einsatz tragbarer 
Computer AR-Anwendungsf elder mit hohen Mobilitatsanf orde- 
rungen, wenn beispielsweise ProzeJS-, MeS- oder Simulationsda- 
ten an das reale Objekt geknupft werden. 



Die Situation der deutschen Industrie ist durch steigende 
Kundenanforderungen an Individual i tat und Qualitat der Pro- 
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dukte sowie durch eine wesentliche Zei tverkurzung der Entste 
hungsprozesse gekennzeichnet . Insbesondere in Entwicklung, 
Produktion . und Service komplexer technischer Produkte und An 
lagen kbnnen mit innovativen Losungen fur die Mensch-Technik 
Interaktion sowohl Effizienz- und Produktivitatssprunge er- 
zielt werden, als auch die Arbeit kompetenz- und lernf order 1 
ich gestaltet werden, indem der Wissens- und Inf ormationsbe- 
darf der Benutzer auf der Basis ohnehin vorliegender Daten 
situationsgerecht unterstvitzt wird. 

Augmented Reality ist eine Technologie mit einer Vielzahl in 
novativer Anwendungsf elder : 

• So kann z.B. in der Entwicklung ein „Mixed Mock-Up" -Ansatz 
auf der Grundlage einer gemischt-virtuellen Umgebung die 
fruhen Entwicklungsphasen deutlich beschleunigen. Gegenii- 
ber immersiven, d.h. eintauchenden, „ Virtual Reality"- 
(VR) -Losungen besteht fiir den Benutzer ein wesentlicher 
Vorteil darin, daS die haptischen Eigenschaf ten mit Hilfe 
eines realen Modells naturgetreu abgebildet werden konnen, 
hingegen Aspekte der visuellen Wahrnehmung, z.B. fiir An- 
zeigenvarianten, virtuell manipulierbar sind. Daruber hin- 
aus besteht ein groSes Potential zur benutzerorientierten 
Validierung rechnergestiitzter Modelle, z,B. fur die Bau- 
teilverif ikation oder bei Crash-Tests. 

• In der flexiblen Produktion kann unter anderem das Ein- 
richten von Maschinen fur qualif izierte Facharbeiter we- 
sentlich erleichtert werden, indem, z.B. durch mobile AR- 
Komponenten, gemischt-virtuelle Spannsituationen direkt im 
Sichtfeld wiedergegeben werden. Eine f acharbeitergerechte 
Fertigungsplanung und Fertigungssteuerung in der Werkstatt 
wird erleichtert, wenn Inf ormationen uber den jeweiligen 
Auf tragsstatus direkt in Verbindung mit den dazugehorigen 
Produkten vor Ort wahrgenommen werden. Das gleiche gilt 
auch fur die Montage, wobei dem Monteur bereits in der 
Trainingsphase die einzelnen Arbeitsschritte gemischt-vir- 
tuell prasentierbar sind. In diesem Zusammenhang konnen, 
z.B. durch den Vergleich realer MontageablSuf e mit Simula- 
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tionsergebnissen, umfassende Optimierungen erreicht wer-- 
den, die sowohl die Qualitat der Arbeit splanung verbessern 
als auch. den MontageprozeS in der kritischen Anlaufphase 
vereinfachen und beschleunigen . 

• Letztlich genugen im Service herkommliche Technologien 
kaum mehr, urn die komplexen Diagnose- und Behebungsproze- 
duren zu unterstutzen und zu dokumentieren . Da diese Pro- 
zesse in vielen Bereichen aber ohnehin auf Basis von digi- 
talen Daten geplant warden, bieten AR-Technologien die 
M5glichkeit, die Inf ormationsguellen fiir die Wartung zu 
ubernehmen und einem Techniker, z.B. in der Datenbrille, 
durch die Uberlagerung mit realen Objekten den Ausbauvor- 
gang zu erlautern. Mit Bezug auf kooperative Arbeit ermog- 
licht das AR-gestiitzte „Fernauge" eine verteilte Problem- 
losung, indem ein entfernter Experte mit dem Mitarbeiter 
vor Ort iiber globale Distanzen hinweg kommuniziert . Dieser 
Fall ist besonders fur die iiberwiegend mittelstandischen 
Werkzeugmaschinenhersteller relevant. Sie sind durch die 
Global i si erung gezwungen, Produktionsstatten ihrer Kunden 
weltweit zu errichten. Jedoch ist eine PrSsenz von Nieder- 
lassungen in alien wichtigen MSrkten weder aus wirtschaft- 
lichen Grunden realisierbar , noch kann auf das profunda 
Wissen erfahrener Service-Mitarbeiter des Stammhauses 
bzgl . der zunehmend komplexer werdenden Anlagen verzichtet 
we r den. 

Die Besonderheit in der Mensch-Technik-Interaktion bei Aug- 
mented Reality liegt in einer sehr einfachen und intuitiven 
Kommunikation mit dem Computer, beispielsweise erganzt durch 
multimodale Interaktionstechniken wie Sprachverarbeitung oder 
Gestikerkennung. Die Verwendung von tragbaren Com- 
putereinheiten ermoglicht daruber hinaus vailig neue mobile 
Nutzungsszenarien, wobei die spezifischen Daten jederzeit 
iiber ein draht loses Netz angefordert werden konnen. Neue Vi- 
sualisierungstechniken erlauben eine direkte Annotation, z.B. 
von Meil- Oder Simulationsdaten, an das reale Objekt oder in 
die reale Umgebung . In Verbindung mit verteilten Anwendungen 
sind mehrere Benutzer in der Lage, in einer realen Umgebung 
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mit Hilfe einer gemeinsamen Datenbasis zu arbeiten (shared 
augmented environments) oder in verschiedenen Umgebungen AR- 
gestutz t zu kooperieren . 

Augmented Reality wird erst seit wenigen Jahren intensiv er- 
forscht. Deshalb finden sich sowohl auf nationaler als auch 
internationaler Ebene nur wenige Anwendungen, zumeist in Form 
von wissenschaf tlichen Prototypen bei Forschungseinrich- 
tungen. 

o USA: Wie bei vielen neuen Technologien wurden die 
Nutzungspotentiale von Augmented Reality zuerst in 
Nordamerika erschlossen. Beispiele sind die Cockpit- 
gestaltung oder die Wartung von mechatronischen Gera- 
ten. Der Flugzeughersteller Boeing hat bereits erste 
Feldversuche im Bereich der Montage mit AR-Technolo- 
gien unternommen, Ergebnis ist, daS den USA auch in 
diesem Hightech-Bereich eine Schliisselstellung zu- 
kommt, die mit einer moglichen Technologief uhrer- 
schaft einhergeht. 

o Japan: In Japan werden verschiedene AR-Entwicklungen 
vorangetrieben, z.B. zur gemischt-virtuellen Gebaude- 
planung, Teleprasenz oder „ Cyber- Shopping . Keimzelle 
ist das 1997 gegrundete Mixed Reality Systems Labora- 
tory, das als Kompetenzzentrum gemeinsam von Wirt- 
schaft und Wissenschaf t getragen wird^ Besondere Im- 
pulse im Konsumguterbereich sind zukunftig durch die 
japanische Industrie ftir Unterhaltungselektronik zu 
erwarten. 

o Europa: In Europa sind bislang nur sehr wenige For- 
schergruppen im AR-Bereich tatig. Eine Gruppe an der 
Universitat Wien befafit sich mit AnsStzen filr die ge- 
mischt-reale Visualisierung . Die Gruppe des IGD hat 
im Rahmen des inzwischen ausgelauf enen ACTS-Pro j ektes 
CICC erste Anwendungen fur die Bauindustrie und einen 
wissenschaf tlichen Prototypen zur Mitarbeiterschulung 
im Automobilbau entwickelt. 
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Die im Erfindung versteht sich insbesondere im speziellen 
Kontext der Anwendungsf elder . " Produktions- und Werkzeugma- 
schinen" (NC-ges teuerte , automatisierungstechnische Prozesse) 
sowie "Diagnose- /Serviceunterstutzungssysteme f iir komplexe 
technische Komponenten/Gerate/Systeme " (z.B. Fahrzeuge, aber 
auch industrielle Maschinen und Anlagen) . 

Ein Hauptvorteil der Erfindung besteht in einer Einsparung 
von Anzeigeinstrumenten dadurch, dal5 AR-Basistechnologien fur 
das Bedienen und Beobachten von Systemen und Anlagen genutzt 
werden. Mit Hilfe dieser AR-Basistechnologien ist es moglich, 
Objekte zu sehen und zu identif izieren / Kombination aus Se- 
lektieren und Realitatserwei terung um virtuelle Information 
Einblenden von ProzeSwerten in mobil einsetzbaren Geraten zur 
Visualisierung. Dabei erfolgt eine multi -modal e Interaktion 
wie Sprache, Finger zeig, etc. 

Zusammenfassend betrifft die Erfindung somit ein Bedien- und 
Beobachtungssystem, bei dem neben realen Inf ormationen eihes 
Pozesses, beispielsweise eines Automatisierungssystems virtu- 
elle Inf ormationen erganzt und auf einem mobilen AnzeigegerSt 
visualisiert werden. Hierdurch konnen beispielsweise FOllmen- 
gen eines Tanks, einer Leitung etc. vor Ort virtuell visuali- 
siert werden, die ansonsten nicht zuganglich sind. Durch 
Sprache oder Fingerzeig ist eine multimodale Kommunikation 
mit den Komponenten des Prozesses moglich. 
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Patentanspruche 

1. Bedien- und Beobachtungs system fiir eine automatisierungs- 
technisch gesteuerte Anlage und/oder einen automat isierungs- 
technisch gesteuerten Prozess mit einem mobilen AnzeigegerSt 
zur Anzeige von ersten Inf ormationsdaten der Anlage oder des 
Prozesses in Abhangigkeit von mittels Erf assungsmitteln er- 
faJSbaren realen zweiten Inf ormationsdaten. 

2. System nach Anspruch 1, 

dadurch gekennzeichnet, 

daS die Inf ormationsdaten statische und/oder dynamische In- 
f ormationsdaten sind. 

3. System nach einem der Anspruche 1 oder 2, 
dadurch geke n n zeichnet, 

daS das System Erf assungsmittel {2, 11) mit einer Sensorik, 
insbesondere einer Bildauf nahmevorrichtung zur Erfassung der 
ersten Inf ormationsdaten sowie Visualisierungsmittel (4) zur 
Visual isierung der zweiten Inf ormationsdaten aufweist. 

4. System nach einem der Anspruche 1 bis 3, 
dadurch gekennzeichnet, 

daS die Erf assungsmittel (2 ) anwendergesteuert sind und ins- 
besondere als sprachgesteuerte Erf assungsmittel und/oder 
durch Steuerdaten gesteuerte Erf assungsmittel ausgebildet 
sind. 

5. System nach einem der Anspruche 1 bis 4, 
dadurch gekennzeichnet, 

daS die Erf assungsmittel (2) und/oder die Visualisierungsmit- 
tel als Datenbrille (4) ausgebildet sind. 

6. Verfahren zum Bedienen und Beobachten einer automatisie- 
rungs technisch gesteuerten Anlage und/oder eines automatisie- 
rungstechnisch gesteuerten Prozesses, bei dem mittels eines 
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mobilen Anzeigegerats ersten Inf ormationsdaten der Anlage 
Oder des Prozesses in Abhangigkeit von mittels Erf assungsmit- 
teln erfaSbaren realen zweiten Inf ormationsdaten angezeigt 
werden . 

7. Verfahren nach Anspruch 6, 
dadurch gekennzeichnet, 

dag die Dok\jinentationsdaten (II., In) statische und/oder dyna- 
mische Inf ormationsdaten sind. 

8. Verfahren nach einem der Anspriiche 6 Oder 1 , 
dadurch gekennzeichnet, 

daJ?^ die ersten Inf ormationsdaten mittels Erf assungsmitteln 
(2, 11) mit einer Sensorik, insbesondere einer Bildauf nahme- 
vorrichtung erfaSt und dajS die zweiten Inf ormationsdaten mit- 
tels Visualisierungsmitteln (4) dem Anwender (7) visualisiert 
werden . 

9. Verfahren nach einem der AnsprUche 6 bis 8, 
dadurch gekennzeichnet, 

daS die Erf assungsmittel (2) anwendergesteuert sind und ins- 
besondere als sprachgesteuerte Erf assungsmittel und/oder 
durch Steuerdaten gesteuerte Erf assungsmittel ausgebildet 
sind. 

10. Verfahren nach einem der Anspruche 6 bis 9, 
dadurch gekennzeichnet, 

daS die Erf assungsmittel (2) und/oder die Visualisierungsmit- 
tel als Datenbrille ausgebildet sind. 
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